Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
Open-MOPD：诊断并修复多教师在线蒸馏中的能力失衡
🧭 多教师在线蒸馏 · 优化预算平衡 ★ 深度解读
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University
提出 token-share balancing、gap-aware 分配与 reward refresh 三种机制，将多教师在线蒸馏能力集成恢复率从 35.6% 提升到 83.4%
📌 工作参考价值（4 点）
- 多任务/多领域训练时不要只看 prompt/sample 比例，要统计 token-level 梯度贡献。短输出任务（如 query 推荐、push 文案）即使 prompt 占比合理，梯度 token 占比可能极低（论文中 IF 占 20.3% prompt 但仅 0.99% 梯度 token）。可借鉴 token-share balancing，按目标 token share 加权 loss，避免单纯过采样挤压长序列任务的 prompt 多样性。
- 动态预算分配：在多目标 RL 或蒸馏中，根据每个 domain 当前 teacher-student gap（或 reward magnitude）动态调整 loss weight，优先分配给 gap 大的任务，并对权重做 clip 防止正反馈发散。推荐系统多任务（CTR/CVR/时长）可监控各任务 reward 幅度变化，设计类似 gap-following allocation 的机制，避免训练后期预算被已收敛任务吸走。
- reward refresh 在 rollout 复用 + 多步 inner update 的工程设置下，用当前策略重算 student-dependent 项（如 log-prob），缓存 teacher 输出，几乎无额外开销，可减少 off-policy 陈旧性。适合大规模 RL/蒸馏 pipeline，特别是对 latency 敏感的多智能体/多能力整合训练。
- 进行多专家能力合并前，先构建 oracle routing 测试床隔离路由误差，量化每个 domain 的 recovered headroom，定位训练中最早停滞、恢复率最低的任务，再有针对性地调整优化预算。